Token Budget Saturation and Mechanistic Early Detection of Reasoning Non-Convergence in Chain-of-Thought Models
推理模型Token预算饱和与不收敛早期检测
🧭 推理收敛早期探测与退出机制
University of Maryland
CoT推理呈双峰收敛，内部表征可早期预测失败，为提前退出开辟路径
📌 工作参考价值（4 点）
- 在LLM推理链生成中部署线性探针监测隐藏状态，当检测到高概率收敛失败时提前终止，可节省大量推理成本，适用于推荐理由生成、搜索解释等业务场景。
- 对简单到中等复杂度任务（如商品描述优化、query意图分类解释），采用budget forcing限制思考token数至256，几乎不损失准确率，显著降低延迟。
- 工程实现中优先使用内部激活探针而非基于输出文本熵或重复率的行为指标，前者信号更强且更早。
- 根据问题难度或早期探针信号动态分配计算资源，使推理预算自适应，实现成本与效果的平衡。